Het kasteel Ter Vesten, ook wel kasteel Le Paige genoemd, werd in 1892 gebouwd door Henri Le Paige, burgemeester van Herentals (1836-1848), met mogelijk de Lierse architect J.B. Van Bouchout als ontwerper.
Het kasteel werd gebouwd op het domein dat sinds 1775 in het bezit was van de familie Le Paige. De naam ‘Ter Vesten’ verwijst naar het bastillon van de stedelijke omwalling dat hier gelegen was en waarvan de vijver deel uitmaakte. Dit kasteeltje laat zien hoe de gegoede burgerij woonde. Het bevat fraaie stijlkamers in diverse neostijlen, een mooi salon in art nouveau en een merkwaardige tuinkamer met muurschilderingen en glas in loodramen.
In 1976 kwam Ter Vesten in handen van de kerkfabriek van de Onze-Lieve-Vrouweparochie om dienst te doen als kerkgebouw, architecturaal bleek dit echter niet realiseerbaar. Door een samenwerking tussen de vzw Ter Vesten, de kerkfabriek en het stadsbestuur werd het kasteel in 1997-1999 gerestaureerd naar ontwerp van H. Adriaensens en G. Van Gorp, en heeft het sinds 2000 een sociaal-culturele functie. In het arboretum treft men een aantal zeldzame boomsoorten uit de hele wereld aan.